Abdul Rahman dilahirkan di Kampung Jepak, Bintulu, Sarawak pada 3 Januari 1928. Bapa beliau ialah seorang nelayan yang bernama Tuan Wan Ya'kub bin Wan Yusuf dan ibu beliau, Siti Hajar binti Haji Mohd Tahir yang merupakan seorang suri rumah.[1] Keluarga Rahman meninggalkan Bintulu dan menuju ke Miri, dengan harapan untuk mendapat akses pendidikan yang lebih baik. Rahman ialah orang pertama menghadiri sekolah Melayu dan kemudian Sekolah Anchi di Miri. Bapanya, yang berharap bahawa anaknya diberi pendidikan Islam, cuba untuk menghantar anaknya ke Sekolah Al-Juned Arab pada tahun 1939, namun keputusan telah ditentang oleh ibunya kerana tercetusnya Perang Dunia Kedua. Beliau kemudian dipindahkan ke St. Joseph Miri, tetapi pembelajaran beliau telah dipendekkan disebabkan pencerobohan Jepun.[2] Pada usia muda, beliau mempelajari seni mempertahankan diri dan dapat juga memenuhi Morihei Ueshiba, pengasas Aikido.[petikan diperlukan]

Kerana kekangan kewangan, Rahman terpaksa meninggalkan sekolah pada tahun 1947 dan bekerja untuk Syarikat Shell Sarawak di Lutong, pendapatan RM 2 setiap hari. Tidak berpuas hati dengan pendapatan beliau, Abdul Rahman pergi ke Hospital Umum Sarawak, berfikir bahawa beliau akan menyelia pekerja lain. Walau bagaimanapun, beliau akhirnya menyapu lantai dan membantu pesakit sebaliknya. Beliau meninggalkan hospital selepas bekerja hanya satu hari. Pada tahun 1948, beliau telah dihantar ke Miri sebagai Pegawai Percubaan dan Keempat Majistret Kelas. Beliau tinggal di Miri sehingga tahun 1952, sebahagian besar melakukan kerja-kerja mahkamah. Rahman lulus dengan sijil di peperiksaan Senior Cambridge pada tahun berikutnya.[1]

Rahman berusia 26 tahun apabila dia diterima masuk ke Universiti Southampton untuk mengkaji undang-undang pada tahun 1954. Lima tahun kemudian, beliau lulus dari universiti sebagai seorang peguam terlatih dan telah dilantik sebagai Pegawai Undang-Undang Kadet. Beliau bekerja sebagai Timbalan Pendakwa Raya di Jabatan Undang-undang Sarawak dari 1959 hingga 1963. Beliau adalah Bumiputera pertama dari Sarawak yang lulus sebagai seorang peguam pada tahun 1958 dari Lincoln Inn.